term_name: Airbyte Destination
description: сущности внутри Airbyte, которые можно создать вручную или по API
type: term
doc_status: ready (нужно ревью)Airbyte Destination
Airbyte Destination — это конечная точка, куда данные отправляются после извлечения из источника. Это может быть база данных, хранилище данных, аналитическая платформа или любая другая система, которая принимает загруженные данные для дальнейшего использования.
Airbyte поддерживает широкий спектр систем в качестве целевых, таких как Amazon S3, Google BigQuery, PostgreSQL, Snowflake, Redshift и другие.
Также как и в случае с Airbyte Source, для подключения используются специальные коннекторы. В Airbyte есть как стандартные коннекторы, так и коннекторы, поддерживаемые сообществом Airbyte.
Для каждого целевого хранилища необходимо настроить параметры подключения (например, URL, токены аутентификации, учетные данные).
Пример параметров, которые необходимо заполнить при подключении Clickhouse в качестве места назначения:
В dataCraft Core создание новых и обновление существующих мест назначений в Airbyte автоматизировано и осуществляется DAG’ом create_connections.
Название выгружаемых таблиц
В dataCraft Core в качестве базы данных используется Clickhouse. Важно правильно заполнить параметры подключения, так как они будут фигурировать в названии выгружаемых таблиц.
Название сырых таблиц формируется по следующей схеме:
datacraft_{clientname}_raw_stream__{source}_{template}_{accaunt_id}_{stream}
где
_raw__stream__и{stream_name}приписывает Airbyte{source}_{template}_{accaunt_id}_- это Stream Prefix, который настраивается во время создания Airbyte Connectiondatacraft_{clientname}— это как раз то, что мы указываем вDB Nameпри создании Airbyte Destination